Ông tên đầy đủ là Bùi Vinh Sử. Cha mẹ của ông từ Hà Tây đi làm phu đồn điền cao su cho Pháp, lưu lạc vào miền Đông Nam Bộ trong thập niên 1940. Sau đó gia đình chuyển vào Sài Gòn, sinh sống bằng nghề làm lò bún trong một xóm lao động nghèo ở quận 4. Gần 10 tuổi đầu ông mới đi học lớp năm (lớp một bây giờ), ông là người duy nhất trong số 4 anh chị em trong gia đình được đi học.

Ông từng có bốn đời vợ chính thức nhưng hiện tại sống một mình.